.. _matTheBasicImageContainer:

Mat - 基本图像容器
*******************************

目的
====

从真实世界中获取数字图像有很多方法，比如数码相机、扫描仪、CT或者磁共振成像。无论哪种方法，我们（人类）看到的是图像，而让数字设备来“看“的时候，则是在记录图像中的每一个点的数值。

.. image:: images/MatBasicImageForComputer.jpg
   :alt: A matrix of the mirror of a car
   :align: center

比如上面的图像，在标出的镜子区域中你见到的只是一个矩阵，该矩阵包含了所有像素点的强度值。如何获取并存储这些像素值由我们的需求而定，最终在计算机世界里所有图像都可以简化为数值矩以及矩阵信息。作为一个计算机视觉库， *OpenCV* 其主要目的就是通过处理和操作这些信息，来获取更高级的信息。因此，OpenCV如何存储并操作图像是你首先要学习的。

*Mat*
=====

在2001年刚刚出现的时候，OpenCV基于 *C* 语言接口而建。为了在内存（memory）中存放图像，当时采用名为 *IplImage* 的C语言结构体，时至今日这仍出现在大多数的旧版教程和教学材料。但这种方法必须接受C语言所有的不足，这其中最大的不足要数手动内存管理，其依据是用户要为开辟和销毁内存负责。虽然对于小型的程序来说手动管理内存不是问题，但一旦代码开始变得越来越庞大，你需要越来越多地纠缠于这个问题，而不是着力解决你的开发目标。	

幸运的是，C++出现了，并且带来类的概念，这给用户带来另外一个选择：自动的内存管理（不严谨地说）。这是一个好消息，如果C++完全兼容C的话，这个变化不会带来兼容性问题。为此，OpenCV在2.0版本中引入了一个新的C++接口，利用自动内存管理给出了解决问题的新方法。使用这个方法，你不需要纠结在管理内存上，而且你的代码会变得简洁（少写多得）。但C++接口唯一的不足是当前许多嵌入式开发系统只支持C语言。所以，当目标不是这种开发平台时，没有必要使用 *旧* 方法（除非你是自找麻烦的受虐狂码农）。

关于 *Mat* ，首先要知道的是你不必再手动地（1）为其开辟空间（2）在不需要时立即将空间释放。但手动地做还是可以的：大多数OpenCV函数仍会手动地为输出数据开辟空间。当传递一个已经存在的 *Mat* 对象时，开辟好的矩阵空间会被重用。也就是说，我们每次都使用大小正好的内存来完成任务。

基本上讲 *Mat* 是一个类，由两个数据部分组成：矩阵头（包含矩阵尺寸，存储方法，存储地址等信息）和一个指向存储所有像素值的矩阵（根据所选存储方法的不同矩阵可以是不同的维数）的指针。矩阵头的尺寸是常数值，但矩阵本身的尺寸会依图像的不同而不同，通常比矩阵头的尺寸大数个数量级。因此，当在程序中传递图像并创建拷贝时，大的开销是由矩阵造成的，而不是信息头。OpenCV是一个图像处理库，囊括了大量的图像处理函数，为了解决问题通常要使用库中的多个函数，因此在函数中传递图像是家常便饭。同时不要忘了我们正在讨论的是计算量很大的图像处理算法，因此，除非万不得已，我们不应该拷贝 *大* 的图像，因为这会降低程序速度。

为了搞定这个问题，OpenCV使用引用计数机制。其思路是让每个 *Mat* 对象有自己的信息头，但共享同一个矩阵。这通过让矩阵指针指向同一地址而实现。而拷贝构造函数则 **只拷贝信息头和矩阵指针** ，而不拷贝矩阵。

.. code-block:: cpp
   :linenos:

   Mat A, C;                                 // 只创建信息头部分
   A = imread(argv[1], CV_LOAD_IMAGE_COLOR); // 这里为矩阵开辟内存

   Mat B(A);                                 // 使用拷贝构造函数

   C = A;                                    // 赋值运算符

以上代码中的所有Mat对象最终都指向同一个也是唯一一个数据矩阵。虽然它们的信息头不同，但通过任何一个对象所做的改变也会影响其它对象。实际上，不同的对象只是访问相同数据的不同途径而已。这里还要提及一个比较棒的功能：你可以创建只引用部分数据的信息头。比如想要创建一个感兴趣区域（ *ROI* ），你只需要创建包含边界信息的信息头：

.. code-block:: cpp
   :linenos:

   Mat D (A, Rect(10, 10, 100, 100) ); // using a rectangle
   Mat E = A(Range:all(), Range(1,3)); // using row and column boundaries 

现在你也许会问，如果矩阵属于多个 *Mat* 对象，那么当不再需要它时谁来负责清理？简单的回答是：最后一个使用它的对象。通过引用计数机制来实现。无论什么时候有人拷贝了一个 *Mat* 对象的信息头，都会增加矩阵的引用次数；反之当一个头被释放之后，这个计数被减一；当计数值为零，矩阵会被清理。但某些时候你仍会想拷贝矩阵本身(不只是信息头和矩阵指针)，这时可以使用函数 :basicstructures:`clone() <mat-clone>` 或者  :basicstructures:`copyTo() <mat-copyto>` 。

.. code-block:: cpp
   :linenos:

   Mat F = A.clone(); 
   Mat G; 
   A.copyTo(G);

现在改变 *F* 或者 *G* 就不会影响 *Mat* 信息头所指向的矩阵。总结一下，你需要记住的是

.. container:: enumeratevisibleitemswithsquare

   * OpenCV函数中输出图像的内存分配是自动完成的（如果不特别指定的话）。
   * 使用OpenCV的C++接口时不需要考虑内存释放问题。
   * 赋值运算符和拷贝构造函数（ *ctor* ）只拷贝信息头。
   * 使用函数 :basicstructures:`clone()<mat-clone>` 或者 :basicstructures:`copyTo() <mat-copyto>` 来拷贝一副图像的矩阵。

*存储* 方法
================= 

这里讲述如何存储像素值。需要指定颜色空间和数据类型。颜色空间是指对一个给定的颜色，如何组合颜色元素以对其编码。最简单的颜色空间要属灰度级空间，只处理黑色和白色，对它们进行组合可以产生不同程度的灰色。

对于 *彩色* 方式则有更多种类的颜色空间，但不论哪种方式都是把颜色分成三个或者四个基元素，通过组合基元素可以产生所有的颜色。RGB颜色空间是最常用的一种颜色空间，这归功于它也是人眼内部构成颜色的方式。它的基色是红色、绿色和蓝色，有时为了表示透明颜色也会加入第四个元素 alpha (A)。

有很多的颜色系统，各有自身优势：

.. container:: enumeratevisibleitemswithsquare

   * RGB是最常见的，这是因为人眼采用相似的工作机制，它也被显示设备所采用。
   * HSV和HLS把颜色分解成色调、饱和度和亮度/明度。这是描述颜色更自然的方式，比如可以通过抛弃最后一个元素，使算法对输入图像的光照条件不敏感。
   * YCrCb在JPEG图像格式中广泛使用。
   * CIE L*a*b*是一种在感知上均匀的颜色空间，它适合用来度量两个颜色之间的 *距离* 。

每个组成元素都有其自己的定义域，取决于其数据类型。如何存储一个元素决定了我们在其定义域上能够控制的精度。最小的数据类型是 *char* ，占一个字节或者8位，可以是有符号型（0到255之间）或无符号型（-127到+127之间）。尽管使用三个 *char* 型元素已经可以表示1600万种可能的颜色（使用RGB颜色空间），但若使用float（4字节，32位）或double（8字节，64位）则能给出更加精细的颜色分辨能力。但同时也要切记增加元素的尺寸也会增加了图像所占的内存空间。

显式地创建一个 *Mat* 对象
==================================

教程 :ref:`Load_Save_Image` 已经讲解了如何使用函数 :readWriteImageVideo:`imwrite() <imwrite>` 将一个矩阵写入图像文件中。但是为了debug，更加方便的方式是看实际值。为此，你可以通过 *Mat* 的运算符 << 来实现，但要记住这只对二维矩阵有效。

 *Mat* 不但是一个很赞的图像容器类，它同时也是一个通用的矩阵类，所以可以用来创建和操作多维矩阵。创建一个Mat对象有多种方法：

.. container:: enumeratevisibleitemswithsquare

   + :basicstructures:`Mat() <mat-mat>` 构造函数

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  27-28

    .. image:: images/MatBasicContainerOut1.png
       :alt: Demo image of the matrix output
       :align: center 

    对于二维多通道图像，首先要定义其尺寸，即行数和列数。

    然后，需要指定存储元素的数据类型以及每个矩阵点的通道数。为此，依据下面的规则有多种定义

    .. code-block:: cpp

       CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]

    比如 *CV_8UC3* 表示使用8位的 unsigned char 型，每个像素由三个元素组成三通道。预先定义的通道数可以多达四个。  :basicstructures:`Scalar <scalar>` 是个short型vector。指定这个能够使用指定的定制化值来初始化矩阵。当然，如果你需要更多通道数，你可以使用大写的宏并把通道数放在小括号中，如下所示

   + 在 C\\C++ 中通过构造函数进行初始化

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  35-36

     上面的例子演示了如何创建一个超过两维的矩阵：指定维数，然后传递一个指向一个数组的指针，这个数组包含每个维度的尺寸；其余的相同


   + 为已存在IplImage指针创建信息头:

     .. code-block:: cpp

        IplImage* img = cvLoadImage("greatwave.png", 1);
        Mat mtx(img); // convert IplImage* -> Mat

   + :basicstructures:`Create() <mat-create>` function: 函数

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  31-32

    .. image:: images/MatBasicContainerOut2.png
       :alt: Demo image of the matrix output
       :align: center

    这个创建方法不能为矩阵设初值，它只是在改变尺寸时重新为矩阵数据开辟内存。

   + MATLAB形式的初始化方式： :basicstructures:`zeros() <mat-zeros>`, :basicstructures:`ones() <mat-ones>`, ::basicstructures:`eyes() <mat-eye>` 。使用以下方式指定尺寸和数据类型：

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  40-47

    .. image:: images/MatBasicContainerOut3.png
       :alt: Demo image of the matrix output
       :align: center

   + 对于小矩阵你可以用逗号分隔的初始化函数:

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  50-51

    .. image:: images/MatBasicContainerOut6.png
       :alt: Demo image of the matrix output
       :align: center

   + 使用 :basicstructures:`clone() <mat-clone>` 或者 :basicstructures:`copyTo() <mat-copyto>` 为一个存在的 *Mat* 对象创建一个新的信息头。

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
        :language: cpp
        :tab-width: 4
        :lines:  53-54

     .. image:: images/MatBasicContainerOut7.png
        :alt: Demo image of the matrix output
        :align: center

格式化打印
====================

.. note:: 

   调用函数 :operationsOnArrays:`randu() <randu>` 来对一个矩阵使用随机数填充，需要指定随机数的上界和下界：

   .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
      :language: cpp
      :tab-width: 4
      :lines:  57-58

从上面的例子中可以看到默认格式，除此之外，OpenCV还支持以下的输出习惯

.. container:: enumeratevisibleitemswithsquare

   + 默认方式

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 61

     .. image:: images/MatBasicContainerOut8.png
        :alt: Default Output
        :align: center

   + Python 

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 62

     .. image:: images/MatBasicContainerOut16.png
        :alt: Default Output
        :align: center

   + 以逗号分隔的数值 (CSV)

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 64

     .. image:: images/MatBasicContainerOut10.png
        :alt: Default Output
        :align: center

   + Numpy

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 63

     .. image:: images/MatBasicContainerOut9.png
        :alt: Default Output
        :align: center

   + C语言

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 65

     .. image:: images/MatBasicContainerOut11.png
        :alt: Default Output
        :align: center

打印其它常用项目
============================

OpenCV支持使用运算符<<来打印其它常用OpenCV数据结构。

.. container:: enumeratevisibleitemswithsquare

   + 2维点

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 67-68

     .. image:: images/MatBasicContainerOut12.png
        :alt: Default Output
        :align: center


   + 3维点

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 70-71

     .. image:: images/MatBasicContainerOut13.png
        :alt: Default Output
        :align: center

   + 基于cv::Mat的std::vector

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 74-77

     .. image:: images/MatBasicContainerOut14.png
        :alt: Default Output
        :align: center

   + std::vector点

     .. literalinclude:: ../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp
       :language: cpp
       :tab-width: 4
       :lines: 79-83

     .. image:: images/MatBasicContainerOut15.png
        :alt: Default Output
        :align: center

这里的例子大多数出现在一个短小的控制台应用程序中，你可以在 :download:`here <../../../../samples/cpp/tutorial_code/core/mat_the_basic_image_container/mat_the_basic_image_container.cpp>` 下载到，或者在c++示例部分中找到。

可以在 `YouTube <https://www.youtube.com/watch?v=1tibU7vGWpk>`_ 找到简短的视频演示。

.. raw:: html

  <div align="center">
  <iframe title="Install OpenCV by using its source files - Part 1" width="560" height="349" src="http://www.youtube.com/embed/1tibU7vGWpk?rel=0&loop=1" frameborder="0" allowfullscreen align="middle"></iframe>
  </div>

翻译者
=================
hardegg@ `OpenCV中文网站 <http://www.opencv.org.cn>`_  <hardegg@gmail.com>